#Causal Intervention

4 篇

Explaining the Roles of Experts in Mixture-of-Experts LLMs for Personalization

解释 MoE 大语言模型在个性化中的专家角色

🧭 MoE LLM 个性化与可解释性

University of Copenhagen

用 MoE LLM 做个性化并通过 crosscoder 定位可解释个性化 latent 与专家路由，验证其因果作用

📌 工作参考价值（4 点）

可尝试把个性化底座从 dense LLM 换成 MoE LLM：论文显示 MoE 个性化性能与 dense 有竞争力，但只激活一小部分参数，适合电商/广告等对推理成本敏感的场景；在线服务时稀疏路由也能降低尾部延迟。
用 crosscoder 对「个性化前后模型」的成对激活学习可解释 latent，能直接定位哪些专家在编码个性化特征。业务上可以用类似方法做个性化模块审计，找出哪些专家/层负责特定用户群偏好，便于后续剪枝、蒸馏或加约束。
文中通过 boosting 相关专家让非个性化模型向个性化模型靠拢，说明个性化行为有可操控的专家路由路径。可以借鉴为「可控个性化开关」：对某些用户群或场景，只强化对应专家，避免全量微调或 prompt 注入。
MoE 降低 polysemanticity 的结论提示：如果线上模型需要更强的可解释性、便于合规审查（如推荐理由、广告定向），选择稀疏架构比 dense 更容易解耦特征。

LLM | 2026-10-14 | HF Daily | score 7/10

陈旧文档毒化：过期检索覆盖模型正确答案

🧭 RAG 时间适用性 · 陈旧文档毒化 ★ 深度解读

University of Southern Denmark

发现RAG中过时文档可使模型在原本正确时被翻转，并定位为选择性信任失败

📌 工作参考价值（4 点）

在电商/客服 Agent 的 RAG 知识库中，为文档增加生效/失效日期或 supersession 关系，检索后先判断文档是否仍在适用期，而不只是发布时间或相关性。可作为索引字段或后置过滤。
提示词里避免全局“遵循检索文档”指令，改为要求模型结合文档的适用期限判断；必要时显式给出“该推荐自 X 日期起失效”，能显著提升大模型对过期内容的抵制。
检索侧可加 recency-aware hybrid re-ranker，但必须确保时间元数据可靠；日期缺失或错误时收益消失甚至反转，因此需要元数据治理。
评测 RAG 时增加“反向毒化”指标：只统计未检索时答对、检索后答错的样本，观察过期文档是否推翻已有正确知识；同时测试匹配的当前文档是否被遵循，以区分全面失败与选择性信任失败。

RAG | 2026-09-25 | cs.CL | score 8/10

多模态大模型幻觉源于协同头信息分布漂移

🧭 多模态大模型幻觉归因与校准

Shenzhen University of Advanced Technology

提出 HEAL，通过头部级信息解耦与校准识别并缓解多模态大模型幻觉

📌 工作参考价值（4 点）

多模态 LLM 在电商商品描述生成、图文推荐、广告创意生成等场景中容易出现幻觉，可借鉴头部级解耦与校准思路：定位并校准跨模态协同注意力头，无需全模型微调，降低落地成本。
因果噪声干预筛选冗余头的方法可用于分析现有多模态推荐模型的注意力机制，识别对跨模态对齐贡献不大的头，进行剪枝或优化，提升推理效率。
动态注入校准因子到 value vectors 的机制可迁移到多模态特征融合模块，作为轻量级即插即用组件，增强图像和文本特征的一致性。
结论“幻觉与模态特定头数量/强度无关，而与协同头信息分布漂移相关”提示在多模态推荐/搜索中应关注跨模态交互的质量而非单模态表示的强度，可指导模型调试和特征工程。

Multimodal | 2026-09-04 | HF Daily | score 6/10

Mechanist：以AI为科学仪器自主发现智能机制的智能体系统

🧭 AI4Science · 机制可解释性智能体

Zhejiang University

用Agent+知识图谱+方法库自动发现AI模型机制，实现从解释到干预

📌 工作参考价值（4 点）

将论文、内部实验构建成「机制知识图谱」，把模型行为、失败案例、分析方法、干预手段结构化沉淀，便于快速定位推荐模型 bias、表征问题或安全风险。
借鉴其 32 种方法库的思路，封装一套可复用的因果干预与验证工具（如 activation patching、logit lens 等），让团队能自动生成假设并跑小规模实验，而不是逐个人工排查。
Agent 的“假设→实验→验证”闭环可用于生成式推荐/搜索的模型诊断，例如排查 Semantic ID 模型是否学到正确的概念层级、跨模态转移是否带偏风险。
从机制解释到行为控制（如引导模型生成指定属性输出）的思路，可用于将机制发现转化为可控的推荐策略或生成约束。

Agent | 2026-08-11 | HF Daily | score 7/10